Semasa di Bombay, beliau mencuba nasib sebagai seorang peguambela tetapi gagal. Beliau kemudiannya diarah untuk membela seorang klien di Afrika Selatan. Lantas beliaupun pergi ke negara yang asing ini. Disana, beliau menyaksikan diskriminasi yang sangat teruk. Bangsa India, samada peniaga mahupun buruh dianggap sebagai golongan kelas kedua dan dipanggil "kuli" atau "sami".

Pengalaman diskriminasi yang pertama berlaku di Maritzburg, ibunegeri Natal. Sewaktu didalam keretapi, seorang berkulit putih telah membantah kehadiran seorang "berwarna" di kelas pertama dan mengarah beliau untuk pindah ke kelas ketiga. Beliau enggan menurut kemahuannya kerana mempunyai tiket kelas pertama. Akhirnya beliau serta begnya telah dihumban keluar dari keretapi tersebut.

Peristiwa ini merupakan satu tamparan hebat kepada Gandhi. Beliau kemudian memutuskan untuk menjadi seorang aktivis politik agar dapat mengubah undang-undang diskriminasi tersebut. Gandhi kemudiannya membentuk sebuah gerakan bukan kekerasan disana.